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Розшзнавання акордв на основ! методу 
скелетного розшзнавання 


Разработаны методы структурирования и распознавания аккордов на изображении печатного нотного текста. 
Предложены методы распознавания нот в пятне, структурирования и распознавания аккордов при помощи 
скелетизации. 
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Розроблено методи структурування та розшзнавання акордв на зображенн! друкованого нотного тексту. 
Запропоновано методи розшзнавання нот в плямь структурування та розшзнавання акордв за допомогою 
скелетизаци. 
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Введение 


Сложность в распознавании изображения нотного текста заключается не только в 
разнообразии его элементов (паузы, знаки альтерации и др.), но и в структуре таких 
элементов, как аккорды. В музыкальной грамоте нет ограничения на строение аккорда 
или на количество нот, его составляющих. Следовательно, в музыкальном тексте могут 
встречаться самые разнообразные по своему строению аккорды, в связи с чем количество 
различных распознаваемых объектов существенно увеличивается. На изображении аккорда, 
ноты его составляющие, могут соприкасаться друг с другом, вследствие чего не всегда 
возможно найти границу между ними, разбить аккорд на отдельные ноты и произвести 
распознавание поэлементно. Распознаванию аккордов такого рода посвящена данная статья. 
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Результаты исследования 


На рис. 1 представлено изображение страницы нотного текста. Задача распо- 
знавания изображения нотного текста разбивается на этапы. На первом этапе произ- 
водится отделение значимых элементов от фона. Далее следует структурирование, то 
есть выделение элементов нотного текста. Предложена и использована следующая 
иерархическая структура нотного текста [1]: 

1) элементарная единица; 

2) связка элементарных единиц; 

3) строчка нотного текста; 

4) строка нотного текста; 

5) страница нотного текста. 

На этапе структурирования при помощи преобразования Хафа производится де- 
тектирование линий нотного стана [2]. Кроме того, вычисляются величины, которые 
необходимы для распознавания, такие как размер одной ноты и угол наклона текста к 
нижней границе страницы. 
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Рисунок 1 — Страница нотного текста с фрагментом (а), 
подлежащим распознаванию 
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Следующим этапом является обнаружение и распознавание нот. Ранее описан- 
ный метод шаблонного поиска [3] нот с известной геометрией показал 99,5% результата, 
в случае поиска одиночных нот. 

На рис. 2 представлен фрагмент распознанного текста, на котором белым вы- 
делены центры обнаруженных нот. 

Как видно, одиночные ноты распознаются успешно, чего нельзя сказать о некоторых 
аккордах. Плохой результат для аккордов связан с тем, что ноты расположены близко 
относительно друг друга, из-за чего не удается обнаружить границу между ними. 


Рисунок 2 — Результат распознавания методом шаблонного поиска, 
фрагмента а текста из рис. 1 


Встречаются два вида аккордов: 
1) ноты расположены друг над другом и разделены не меньше чем двумя тонами 


(рис. За), 6)); 
2) между двумя или более соседними нотами расстояние равняется одному тону 


(рис. 3 в), г), д)). 
а) 6) в) г) д) 


Рисунок 3 — Виды аккордов с расстоянием между соседними нотами: 
не меньше двух тонов (а, 6), один тон (в, г, д) 


С первым видом аккордов метод шаблонного поиска одиночных нот справляется, 
если расстояние между соседними нотами более двух тонов (ноты не соприкасаются 
друг с другом (рис. За)). Аккорды, в которых не удается четко определить границу между 
нотами (рис. 36)), методом шаблонного поиска не распознаются. Поэтому воспользуемся 
тем, что после прохода по изображению и поиску на нем одиночных нот остаются 
группы неразделенных нот принадлежащих одному аккорду (пятна нот). Для распоз- 
навания таких групп мы разработали алгоритм распознавания нот в пятне. Применение 
алгоритма распознавания нот в пятне требует расположения нот в аккорде одна над 
другой. При этом ширина пятна не должна превышать ширину ноты (рис. За), 6)). 
Алгоритм состоит из двух этапов: 

1) выделение пятен, удовлетворяющих условию, указанному выше; 

2) вычисление количества нот, входящих в пятно. 

Количество нот, входящих в пятно, равняется ближайшему целому, полученному 
при делении высоты пятна на высоту одной ноты. Определение положения аккорда 
относительно линий нотного стана осуществляется за счет определения положения 
верхней ноты: каждая из последующих нот смещена на два тона ниже предыдущей. 
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На рис. 4 представлен распознанный аккорд. 
1 2 
Рисунок 4 — Аккорд 6) из рис. 3 (1) с результатом распознавания (2) 


В случае аккордов, у которых расстояние между двумя и более нотами 
равняется тону (рис. Зв), г), д)), распознавание описанным алгоритмом невозможно, 
так как ширина пятна превышает ширину одной ноты. Распознавание таких аккордов 
производится модифицированным методом скелетного распознавания, применяемым для 
распознавания печатного и рукописного текста [5-9]. Согласно этому методу, перво- 
начально необходимо получить скелет аккорда. 

Существует несколько отличных друг от друга способов получения скелета. 
Для построения скелета аккорда выбран метод Щепина [6]. Этот метод позволяет 
получить скелет толщиной в один пиксель, что исключает его последующую до- 
обработку и полностью сохраняет связность исходного изображения, а также все его 
особенности. 

Скелетизация методом Щепина производится следующим образом. Для каждого 
внешнего контура изображения находится исходная верхняя левая точка. Очередная 
точка контура рассматривается в конфигурации восьми ее соседей. Точка удаляется, 
если ее удаление не приводит к разрыву связного множества, образованного соседями. 
Таким образом, осуществляется проход всех точек контура. Далее шаг за шагом 
удаляется один слой точек. Слои удаляются до тех пор, пока не останутся только точки, 
не подлежащие удалению (рис. 5). 


в) г) д) 


2 д т Г 
Рисунок 5 — Аккорды рис. Зв), г), д) до (1) и после удаления (2) внешних слоев 
методом скелетизации и аккорды со скелетом (3), показанным белой линией 


На заключительном этапе по алгоритму, приведенном на рис. 6, производится 
анализ скелета для определения расположения нот, входящих в аккорд. 

Определение положения нот относительно линий нотного стана осуществляет- 
ся так же, как и в методе распознавания нот в пятне. После выполнения алгоритма 
(рис. 6) взаимное расположение нот и расстояние между ними оказывается извест- 
ным. Поэтому определив положение верхней ноты легко найти положение на 
нотном стане всех остальных нот. 
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Рисунок 6 — Алгоритм определения положения нот в аккорде 
При помощи данного метода возможно распознавание аккордов любой конфигу- 
рации, у которых соседние ноты находятся на расстоянии тона друг от друга. Реализация 
разработанных методов позволила получить 98 % корректно распознанных аккордов. 


Заключение 


Задача распознавания аккордов печатного нотного текста в статье решена при 
помощи двух адаптированных методов. Для распознавания аккордов, у которых 
ноты расположены друг над другом и разделены не меньше чем двумя тонами, 
предложен метод распознавания нот в пятне. Для аккордов, у которых между двумя 
или более соседними нотами расстояние равняется одному тону, предложен метод 
структурирования распознавания аккордов при помощи скелетизации. 
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